深度学习|Attention与Transformer

Attention is all you need

    Seq2Seq&＃xff08;sequence to sequence&＃xff09;模型是NLP中的一个经典模型&＃xff0c;最初由Google开发&＃xff0c;并用于机器翻译&＃xff0c;主要指的是从序列A到序列B的一种转换。

    主要是一个由编码器(encoder)和一个解码器(decoder)组成的网络。

    编码器将输入项转换为包含其特征的相应隐藏向量。解码器反转该过程&＃xff0c;将向量转换为输出项&＃xff0c;解码器每次都会使用前一个输出作为其输入。

• Encoder将可变长度的输入序列编码成一个固定长度的向量&＃xff1b;
• Decoder将固定长度的向量解码成一个可变长度的输出序列&＃xff1b;
• Encoder-Decoder阶段的编码与解码的方式可以是CNN、RNN、LSTM、GRU等&＃xff1b;
  

    因此Seq2Seq解决的问题是由一个序列预测出另一个序列&＃xff0c;而Encoder-Decoder是其具体的实现手段&＃xff0c;二者实际一致。

    Seq2Seq更强调目的&＃xff0c;Encoder-Decoder更强调方法&＃xff01;

2.1 传统RNN/LSTM的限制

    在Attention机制面世之前&＃xff0c;Seq2Seq的Encoder-Decoder手段常用RNN或LSTM作为基学习器。

• Seq2Seq(RNN base)的限制&＃xff1a;

1. RNN或LSTM是一个时序模型&＃xff0c;下一时刻的输入非常依赖上一时刻的输出&＃xff0c;一旦序列过长&＃xff0c;随着时序链条的增加&＃xff0c;由于Encoder所有信息汇集的隐含层容量有限&＃xff0c;即便是引入了遗忘更新机制的LSTM&＃xff0c;还是会出现一定程度的长期信息损失的问题&＃xff01;
   
2. 由于Decoder的架构&＃xff0c;下一时刻的输入依赖上一时刻的输出&＃xff0c;若解码过程中的第一个词出现偏差&＃xff0c;则导致往后时刻的词也跟着出现偏差&＃xff0c;即一步错步步错&＃xff01;
   
3. 为了适当解决以上问题&＃xff0c;对于encoder和decoder的结构适当在空间层面增加了隐层&＃xff0c;但根本上还是无法避免长序列隐层的损失。
   
       基于RNN/LSTM Base的Seq2Seq存在诸多限制&＃xff0c;不依赖时序的&＃xff0c;基于Attention的注意力机制应运而生&＃xff01;

2.2 什么是Attention

    Attention&＃xff0c;又称为注意力机制&＃xff0c;顾名思义&＃xff0c;是一种能让模型对重要信息重点关注并充分学习吸收的技术&＃xff0c;它不算是一个完整的模型&＃xff0c;应当是一种技术&＃xff0c;能够作用于任何序列模型中。

2.3 机制原理

    左图为典型的Seq2Seq&＃xff08;RNN base&＃xff09;的结构&＃xff0c;右图则为Seq2Seq&＃43;Attention的结构。

    Seq2Seq训练的最终目标是&＃xff1a;帮助decoder在生成词语时&＃xff0c;有一个不同词语的权重参考。

    在训练时&＃xff0c;对于decoder而言是有训练目标的&＃xff01;

    此时将decoder中的信息定义为一个query。而encoder中包含了所有可能出现的词语&＃xff0c;我们将其作为一个字典key&＃xff1b;

    如右图所示&＃xff1a;
    Encoder的每一输入序列x的隐层h&＃xff0c;都会通过线性变换生成对应的knk_nkn​(key), 即k1k_1k1​的信息完全来自于h1h_1h1​&＃xff1b;
    Decoder的每一输出序列y的隐层s&＃xff0c;也会通过线性变换生产对应的qnq_nqn​(query)&＃xff0c;即q2q_2q2​的信息完全来自于y1y_1y1​&＃xff0c;

    将当前decoder所处的$query$与Encoder字典中所有的$key$分别与做点积 (q和k是等长的向量)&＃xff0c;则得到对应的e1,e2,e3e_1, e_2, e_3e1​,e2​,e3​等值, 经softmax激活&＃xff0c;转为概率分布α1,α2,α3\alpha_1, \alpha_2, \alpha_3α1​,α2​,α3​&＃xff0c;代表了当前query与各key之间的权重值。

    此时&＃xff0c;由于引入了权重&＃xff0c;则原decoder的隐层信息&＃xff0c;如q2q_2q2​&＃xff0c;则根据线性组合Σtαt∗ht\Sigma_t{\alpha_t*h_t}Σt​αt​∗ht​ 变为y2′y&＃39;_2y2′​&＃xff0c;而y2′y&＃39;_2y2′​作为隐层继续送入到下一时刻得到q3q_3q3​&＃xff0c;周而复始。

2.4 本章小结

    为了帮助decoder在生成词语时&＃xff0c;有一个不同词语的权重参考。对每一时刻decoder带有的信息query&＃xff0c;分别与该时刻下encoder字典的每一个key做点积运算得到$e$&＃xff0c;经softmax激活后得到了$\alpha$权重&＃xff0c;权重越大则代表该时刻下$q$与该$k$的关系越密切。

    将权重与encoder输入词向量做线性求和&＃xff0c;则得到了该时刻下该$query$对应的隐层状态y′y^{&＃39;}y′&＃xff0c;而y′y^{&＃39;}y′本身则作为部分信息继续送入到decoder的下一时刻&＃xff0c;指导下一时刻的词输出。

    尽管Seq2seq&＃43;Attention&＃xff0c;仍然整体上保持着RNN(LSTM)的结构&＃xff0c;即保留了时序上的关系。那么如果Attention机制从中发挥了主要作用&＃xff0c;如果放弃RNN的时序关系&＃xff0c;单纯利用Attention机制能达到什么效果&＃xff1f;这就引出了Transformer的设计初衷&＃xff01;

    经论证发现&＃xff0c;只用Attention的效果要比Seq2seq&＃43;Attention的效果还要好&＃xff01;摒弃了RNN时序架构同时保留了attention机制的Transformer横空出世&＃xff01;

3.1 整体框架

    Transformer整体仍属于Encoder&＃43;Decoder的结构&＃xff0c;解决的仍然是Seq2Seq的场景问题&＃xff0c;但与传统RNN(LSTM)&＃43;Seq2Seq结构有所不同&＃xff0c;整体结构如下图所示。

    可见&＃xff0c;Transformer的Encoder不在保留RNN原有的时序关联&＃xff0c;而是由多个子Encoder以stack堆叠的形式构成&＃xff0c;最后一层Encoder的输出包含了输入的所有信息&＃xff0c;被后续的所有Decoder依赖&＃xff01;这一点与Seq2Seq&＃xff08;RNN&＃xff09;一致。

    进一步研究Encoder/Decoder的内部结构&＃xff0c;主要分为以下4种处理方法&＃xff1a;

• Positional Encoding&＃xff08;位置编码&＃xff0c;替代原来的时序表达&＃xff09;
• Multi-head Attention&＃xff08;多头注意力机制&＃xff09;
• Add&Normalization&＃xff08;残差与标准化&＃xff09;
• Masked decoding&＃xff08;decoder的mask机制&＃xff09;

    上述4种处理方法也正是Transformer的精华所在&＃xff01;

3.2 Self-Attention

    在传统Seq2Seq&＃43;Attention架构中&＃xff0c;由于存在时序关系&＃xff0c;则输出词与输入词通过query和key建立权重关系&＃xff0c;输入词与权重关系做线性组合后&＃xff0c;影响下一时刻的decoder输出。若抛弃了时序信息&＃xff0c;只关注query和key的关系&＃xff0c;即self-Attention的理念。

    举个例子&＃xff0c;下图中&＃xff0c;假如把黄色框体cut-off后&＃xff0c;人类通过图片给定的信息&＃xff0c;很大概率能推测出来黄色缺失部分是狗的另一只耳朵&＃xff0c;而这些信息主要来源于与黄色框体强关联的部分&＃xff08;如3个红色框体&＃xff09;&＃xff0c;同理黄色框体则很难通过弱关联部分&＃xff08;如灰框部分&＃xff09;的信息得以推测。

    当然&＃xff0c;若整体把狗头部分去掉&＃xff0c;人类则根据现有信息&＃xff0c;很难推测缺失的部分是一个狗头&＃xff0c;也许是一个人头。因此&＃xff0c;在一定程度上&＃xff0c;某些信息的丢失或掩盖&＃xff08;mask&＃xff09;&＃xff0c;是可以通过其他现有信息的线性组合能够得以推测&＃xff01;

    self-Attention就是找到各部分之间的关联关系&＃xff0c;同理&＃xff0c;如下图词序列所示&＃xff0c;apple与eating, green具备强关联&＃xff0c;而eating和green之间则存在弱关联&＃xff0c;不依赖时序建立词与词的关联程度&＃xff0c;则是self-Attention的主要目的。

3.2.1 Encoder -> Positional Encoding位置编码

    由于取消了时序&＃xff0c;模型该如何理解单词顺序&＃xff1f;为了解决这个问题&＃xff0c;Transformer为每个词向量都新添加了一个位置向量&＃xff0c;如下图所示&＃xff0c;ene_nen​代表词Embedding&＃xff0c;pnp_npn​则代表新增的位置编码向量。那么位置编码该用什么原则填充呢&＃xff1f;

• 单纯用count计数&＃xff1f;由0开始&＃xff0c;依次自增&＃xff1f;这样会导致位置靠后的词向量与靠前的词向量差值过大
• 将位置编码结合词长度进行归一化&＃xff1f;的确能适当解决差值过大的问题&＃xff0c;但仍然存在词向量之间先天的差异。
  
      后来&＃xff0c;学者提出用sin和cos来反映每一词向量不同index下的位置编码&＃xff0c;此方法一方面能保证各词向量的偏移在固定范围内&＃xff08;即正弦/余弦函数一个周期内&＃xff09;&＃xff0c;另一方面也能保证周期内的各时刻对应的值不同&＃xff08;即满足了位置编码的需求&＃xff09;&＃xff0c;即单词的绝对位置和相对位置都得到了保障。
  
      同时&＃xff0c;可根据词所在的时序为奇数位或偶数位&＃xff0c;分别选择sin()或cos()&＃xff0c;公式如下图所示&＃xff0c;pos代表序列中的词的index&＃xff0c;i代表该词向量的index&＃xff0c;而d则代表词向量的Embedding维度
  

    位置编码后的词向量&＃xff0c;与Seq2Seq&＃43;Attention相同的是&＃xff0c;都需要通过线性变换可生成key和query&＃xff0c;不同的是&＃xff0c;Seq2Seq&＃43;Attention的query和key分别由Decoder和Encoder得出。而self-Attention则在Encoder内产生Q&＃xff0c;K&＃xff0c;V。如下图所示

    同样的信息&＃xff08;即带有位置编码的词向量epe_pep​&＃xff09;经过三个不同的线性变换分别得到了三个表述矩阵Q, K, V。

    为了梯度的稳定&＃xff0c;我们将Q,K相乘后的attention-score进行归一化Q∗KTdk\frac{Q*K^T}{\sqrt{d_k}}dk​

​Q∗KT​&＃xff0c;再通过softmax转为权重矩阵Attention Filter。这样&＃xff0c;输入词之间的相似度得以体现。

    得到了Attention Filter后&＃xff0c;得到了权重矩阵&＃xff0c;再与V做内积&＃xff0c;得到了Z值

总结&＃xff1a;
    输入向量经位置编码组合得到epe_pep​后&＃xff0c;通过三种线性组合构造出Q,K,V。

    Q与K经矩阵乘法后经归一化&＃43;softmax得到Attention Filter后&＃xff0c;再与V相乘得到了Z值&＃xff0c;体现了输入词之间的相似程度。

3.2.2 Encoder -> Multi-head多头注意力机制

    上节可知&＃xff0c;一组线性组合得到的Q&＃xff0c;K&＃xff0c;V能产生一种Z值&＃xff0c;那不同组的线性组合则能到不同的Z值&＃xff0c;那什么样的线性组合才是最优组合&＃xff1f;

    多头处理&＃xff08;Multi-head&＃xff09;则代表用不同的线性组合得到的多组值z1,z2,z3z_1, z_2,z_3z1​,z2​,z3​&＃xff0c;最终的Z值做一个concat。由于训练前模型不知道用什么样的线性组合是最佳的&＃xff0c;索性多做几种线性组合&＃xff0c;让结果自己去进行选择。

    整个self-Attention通过多头concat后得到了Z值(21x3)后&＃xff0c;通过Linear层的线性变换还原回词向量本身的维度(7*5),该向量称之为a

3.2.3 Encoder -> Add&Normalization&＃xff08;残差与标准化&＃xff09;

    通过多头注意力机制&＃xff0c;可以将带有位置编码线性变换而来的K,Q,V转为不同的z值&＃xff0c;合并为Z后&＃xff0c;通过Linear的线性变换得到了a值。

    借鉴了ResNet的残差思想&＃xff0c;将输入的epe_pep​向量shortcut到多头输出与a相加&＃xff0c;即Add操作&＃xff0c;一定程度上解决了梯度消失的问题或退化问题。

    Add操作之后&＃xff0c;为了使多个Encoder的连接避免梯度消失问题&＃xff0c;对向量进行了标准化操作&＃xff0c;即Layer normalization&＃xff0c;在每一个样本上计算均值和方差

3.2.4 Encoder -> Feed Forward Neutrual Network前向传播层

    多头输出的矩阵经linear&＃xff0c;并与输入向量epe_pep​进行Add&Norm操作后&＃xff0c;经过Linear->ReLU->Linear的层结构还原回词向量的原维度。

    而Linear->ReLU->Linear的三层结构这里则称之为FFN层。

至此&＃xff0c;就包括了encoder的全部内容了&＃xff0c;多个encoder堆叠在一起后将隐层信息输出到decoder。

3.2.5 Decoder -> Masked Multi-head Attentions带掩码的多头注意力

    Decoder的结构与Encoder大致相同&＃xff0c;都具备位置编码&＃xff0c;多头注意力机制&＃xff0c;残差&标准化&＃xff0c;前向传播层。不同的是&＃xff0c;Decoder新增了Masked Multi-head Attentions带掩码的多头注意力模块&＃xff0c;如下图所示&＃xff1a;

    Decoder的输入经位置编码后同样的形成进入了带Mask的多头注意力结构&＃xff0c;

    由于这种结构下缺少时序&＃xff0c;若当前时刻是q2q_2q2​&＃xff0c;就Seq2Seq本身而言&＃xff0c;Decoder的q2q_2q2​状态的下一时刻y3y_3y3​还未生成&＃xff0c;输入的y3y_3y3​属于未来的穿越信息。模型不应该引入穿越信息&＃xff0c;不该让q2q_2q2​与k3k_3k3​做点积。

    也就是对于一个序列&＃xff0c;在t时刻&＃xff0c;Decoder的解码输出应该只能依赖于 t 时刻之前的输出&＃xff0c;而不能依赖 t 之后的输出。因此需要想一个办法&＃xff0c;把 t 之后的信息给隐藏起来。

    那么具体怎么做呢&＃xff1f;在的Q&＃xff0c;K产生的Attention Filter矩阵后&＃xff0c;与一个Mask Filter矩阵&＃xff08;对角线以下全为0&＃xff0c;对角线以上全为-inf&＃xff0c;使其经softmax后概率几乎为0&＃xff09;相加。就可以达到我们的目的 &＃61;> Decoder的词只能与前面时刻的词计算关联&＃xff01;

3.2.6 Decoder -> 与Encoder结果融合

    Decoder侧经带Mask的多头注意力输出后&＃xff0c;经Add&Norm产生了V&＃xff0c;同Encoder最后一层Add&Norm产生的Q和K&＃xff0c;一同送入Decoder的多头注意力模块。

    与最早Seq2Seq&＃43;Attention中&＃xff0c;输出词与输入词的关系异曲同工&＃xff0c;区别的是Attention是利用q与k建立点积&＃43;softmax建立关联&＃xff0c;而self-attention中decoder则利用encoder的Q和K&＃xff0c;与decoder的V建立送入多头注意力机制。

• Padding Mask&＃xff08;解决输入序列长度不一致&＃xff09;

    什么是 padding mask 呢&＃xff1f;因为每个批次输入序列长度是不一样的也就是说&＃xff0c;我们要对输入序列进行对齐。具体来说&＃xff0c;就是给在较短的序列后面填充 0。但是如果输入的序列太长&＃xff0c;则是截取左边的内容&＃xff0c;把多余的直接舍弃。因为这些填充的位置&＃xff0c;其实是没什么意义的&＃xff0c;所以我们的attention机制不应该把注意力放在这些位置上&＃xff0c;所以我们需要进行一些处理。

3.3 交叉熵损失函数

    Decoder输出经softmax产生概率分布&＃xff0c;如右图所示&＃xff0c;优化器经经交叉熵损失函数&＃xff08;Cross Entropy&＃xff09;不断优化&＃xff0c;最终保证模型的训练。

3.4 本章小结

优点&＃xff1a;
&＃xff08;1&＃xff09;虽然Transformer最终也没有逃脱传统学习的套路&＃xff0c;Transformer也只是一个全连接&＃xff08;或者是一维卷积&＃xff09;加Attention的结合体。但是其设计已经足够有创新&＃xff0c;因为其抛弃了在NLP中最根本的RNN或者CNN并且取得了非常不错的效果&＃xff0c;算法的设计非常精彩&＃xff0c;值得每个深度学习的相关人员仔细研究和品位。
&＃xff08;2&＃xff09;Transformer的设计最大的带来性能提升的关键是将任意两个单词的距离是1&＃xff0c;这对解决NLP中棘手的长期依赖问题是非常有效的。
&＃xff08;3&＃xff09;Transformer不仅仅可以应用在NLP的机器翻译领域&＃xff0c;甚至可以不局限于NLP领域&＃xff0c;是非常有科研潜力的一个方向。
&＃xff08;4&＃xff09;算法的并行性非常好&＃xff0c;符合目前的硬件&＃xff08;主要指GPU&＃xff09;环境。

缺点&＃xff1a;
&＃xff08;1&＃xff09;粗暴的抛弃RNN和CNN虽然非常炫技&＃xff0c;但是它也使模型丧失了捕捉局部特征的能力&＃xff0c;RNN &＃43; CNN &＃43; Transformer的结合可能会带来更好的效果。
&＃xff08;2&＃xff09;Transformer失去的位置信息其实在NLP中非常重要&＃xff0c;而论文中在特征向量中加入Position Embedding也只是一个权宜之计&＃xff0c;并没有改变Transformer结构上的固有缺陷。

    从名称来看&＃xff0c;是一种带有双向Encoder的Transformer表示。何为单向和双向&＃xff1f;

    单向的Transformer一般被称为Transformer decoder&＃xff0c;其每一个token&＃xff08;符号&＃xff09;只会attend到目前往左的token&＃xff0c;即每一个Query只能和Decoder左侧的Key&＃xff0c;Value做组合&＃xff08;Masked Multi-head attention机制&＃xff09;。

    双向的Transformer则被称为Transformer encoder&＃xff0c;其每一个token会attend到所有的token&＃xff0c;即所有的Query都要和encoder两侧所有的Key&＃xff0c;Value做组合。

4.1 BERT的核心思想

    首先介绍BERT的核心思想。其通过无需标注的数据预训练模型&＃xff0c;提取语句的双向上下文特征&＃xff0c;这种预训练模型再用于下游任务时&＃xff0c;只需要微调就会获得极好的效果.

4.1 Bert结构

    当隐藏了Transformer Encoder的详细结构后&＃xff0c;我们就可以用一个只有输入和输出的黑盒子来表示它了&＃xff1a;

    而Transformer又可以进行堆叠&＃xff0c;形成一个更深的神经网络&＃xff1a;

    最终&＃xff0c;经过多层Transformer结构的堆叠后&＃xff0c;形成BERT的主体结构&＃xff1a;

4.2 Bert输入输出

Transformer的特点就是有多少个输入就有多少个对应的输出

• 输入

    BERT的输入为每一个token对应的表征&＃xff08;图中的粉红色块就是token&＃xff0c;黄色块就是token对应的表征&＃xff09;

    输入的每一个序列开头都插入特定的分类token([CLS])&＃xff0c;该分类token对应的最后一个Transformer层输出被用来起到聚集整个序列表征信息的作用。

    由于BERT是一个预训练模型&＃xff0c;其必须要适应各种各样的自然语言任务&＃xff0c;因此模型所输入的序列必须有能力包含一句话&＃xff08;文本情感分类&＃xff0c;序列标注任务&＃xff09;或者两句话以上&＃xff08;文本摘要&＃xff0c;自然语言推断&＃xff0c;问答任务&＃xff09;。那么如何令模型有能力去分辨哪个范围是属于句子A&＃xff0c;哪个范围是属于句子B呢&＃xff1f;BERT采用了两种方法去解决&＃xff1a;

        在序列tokens中把分割token([SEP])插入到每个句子后&＃xff0c;以分开不同的句子tokens。

        为每一个token表征都添加一个可学习的分割embedding来指示其属于句子A还是句子B。

    因此最后模型的输入序列tokens为下图&＃xff08;如果输入序列只包含一个句子的话&＃xff0c;则没有[SEP]及之后的token&＃xff09;&＃xff1a;

• 输出

到此为止&＃xff0c;BERT的输入输出都已经介绍完毕了,其设计的思路十分简洁而且有效。

4.3 Bert预训练任务

    BERT构建了两个预训练任务&＃xff0c;分别是Masked Language Model和Next Sentence Prediction。

4.3.1 Masked Language Model&＃xff08;MLM&＃xff09;

    简单来说就是以15%的概率用mask token &＃xff08;[MASK]&＃xff09;随机地对每一个训练序列中的token进行替换&＃xff0c;然后预测出[MASK]位置原有的单词。

    为了避免由于【MASK】产生的MLM阶段和Fine-tuning微调阶段之间产生的不匹配&＃xff0c;若某个token被随机地选中作为MASK来预测&＃xff0c;假如是第i个token被选中&＃xff0c;则会被替换成以下三个token之一:

1&＃xff09;80%的时候是[MASK]。如&＃xff0c;my dog is hairy——>my dog is [MASK]

2&＃xff09;10%的时候是随机的其他token。如&＃xff0c;my dog is hairy——>my dog is apple

3&＃xff09;10%的时候是保持的token不变。如&＃xff0c;my dog is hairy——>my dog is hairy

    再用该位置对应的TiT_iTi​去预测出原来的token&＃xff08;输入到全连接&＃xff0c;然后用softmax输出每个token的概率&＃xff0c;最后用交叉熵计算loss&＃xff09;。

4.3.2 Next Sentence Prediction&＃xff08;NSP&＃xff09;

简单来说就是预测两个句子是否连在一起。尚未完成TODO:

4.4 官方通用预训练模型

    官网最开始提供了两个版本&＃xff0c;L表示的是transformer的层数&＃xff0c;H表示输出的维度&＃xff0c;A表示mutil-head attention的个数

如今已经增加了多个模型&＃xff0c;中文是其中唯一一个非英语的模型。

    从模型的层数来说其实已经很大了&＃xff0c;但是由于transformer的残差模块&＃xff08;Add&Norm&＃xff09;&＃xff0c;层数并不会引起梯度消失等问题&＃xff0c;但是并不代表层数越多效果越好&＃xff0c;有论点认为低层偏向于语法特征学习&＃xff0c;高层偏向于语义特征学习。